跳转至

Palmyra x6 技术报告：基于锚定监督微调的智能体与工具调用模型

文章背景与核心概要

本文介绍了 Palmyra x6——一款专为企业级智能体（agentic）任务和工具调用应用深度优化的先进大语言模型。该模型由 Mixture-of-Experts（MoE）基础模型出发，采用了一种保守且经过严格控制的后训练方案，即在由 626 条经过验证的合成工具调用轨迹组成的精简语料库上应用“锚定监督微调”（Anchored Supervised Fine-Tuning, ASFT）。

Palmyra x6 在单训练轮次（epoch）下使用 Muon 与 Adam 混合优化器进行优化，配合较低的学习率以及通往冻结基础模型的 KL 锚定（KL anchor），从而实现了显著的性能提升。它在 BFCL Core 基准测试中斩获最高分（0.785），并在同类模型中创下了六项基准测试平均分的最高纪录，同时在安全性和偏见评估中保持了极具竞争力或领先的水平。

摘要 (Summary)

Palmyra x6 is a state-of-the-art large language model specifically optimized for enterprise-grade agentic tasks and tool-use applications. Developed through a conservative and rigorously controlled post-training recipe, the model starts from a Mixture-of-Experts (MoE) base and applies Anchored Supervised Fine-Tuning (ASFT) using a compact corpus of 626 verified, synthetic tool-use trajectories.

Optimized using a hybrid Muon + Adam optimizer over a single epoch with a low learning rate and a KL anchor to the frozen base, Palmyra x6 delivers substantial performance gains. It achieves the highest score on the BFCL Core benchmark (0.785) and posts the leading six-benchmark mean among its cohort, all while maintaining competitive or superior safety and bias evaluation scores.

Palmyra x6 是一款专为企业级智能体任务和工具调用应用而优化的顶尖大语言模型。该模型通过保守且严格控制的后训练方案开发，以混合专家（MoE）基础模型为起点，并使用包含 626 条经过验证的合成工具调用轨迹的精简语料库应用了锚定监督微调（ASFT）。

Palmyra x6 使用 Muon + Adam 混合优化器，在单轮次、低学习率以及针对冻结基础模型的 KL 锚定条件下进行优化，带来了显著的性能提升。它在 BFCL Core 基准测试中取得了最高分（0.785），并在同类模型中创下了六项基准测试平均分的领先纪录，同时在偏见与安全性评估中保持了竞争优势或领先地位。

文档元数据 (Document Metadata)

  • arXiv ID: arXiv:2608.16620 [cs.CL] (v2 版本)
  • 主学科: 计算与语言 (cs.CL)
  • 辅学科: 人工智能 (cs.AI)
  • 发布日期: 2026年8月17日（最后修订：2026年8月18日）
  • 篇幅: 12页
  • 许可证: 知识共享署名 4.0 国际 许可证图标

作者 (Authors)

  • Peng Du
  • Kiran Kamble
  • Rakshith Vasudev
  • Zhizhuo Yang
  • Rohith Nadimpally
  • Arjun Krishna
  • Waseem Alshikh
  • Daniel M. Bikel

摘要原文 (Abstract)

Palmyra x6 is a large language model optimized for use with enterprise-oriented agentic tasks. The model was built by post-training a Mixture-of-Experts base model with Anchored Supervised Fine-Tuning on a compact corpus of verified, synthetic tool-use trajectories, optimized with a Muon + Adam hybrid. The recipe is deliberately conservative and deliberately controlled: 626 trajectories, a single epoch, a low learning rate, and a KL anchor to the frozen base. The model shows substantial gains over the previous default model for Writer Agent, and compares favorably with several recent models on public benchmarks, scoring the highest on BFCL Core at \(0.785\) and posts the highest six-benchmark mean of the cohort. Furthermore, the model has shown itself to be competitive or leading relative to comparators in our bias and safety evaluations.

Palmyra x6 是一款专为面向企业智能体任务而优化的的大语言模型。该模型通过对混合专家基础模型进行后训练构建，在包含 626 条经验证的合成工具调用轨迹的精简语料库上采用锚定监督微调，并使用 Muon + Adam 混合优化器进行优化。此训练方案刻意保持了保守与严格控制：626 条轨迹、单训练轮次、低学习率，以及指向冻结基础模型的 KL 锚定。相比于 Writer Agent 先前的默认模型，该模型展现出显著的性能提升，在公共基准测试中与数个近期模型相比表现优异，在 BFCL Core 上以 \(0.785\) 的分数夺得最高分，并创下了同组模型中最高的六项基准平均分。此外，在我们的偏见和安全性评估中，该模型相对于对比模型也表现出竞争优势或领先地位。

全文与资源 (Full-Text & Resources)